Năm 1972 sau thắng lợi của trận Điện Biên Phủ trên không của Việt Nam buộc Mỹ phải ký Hiệp định Paris, theo đó năm 1973 Mỹ phải rút toàn bộ quân đội về nước. Tháng 7 năm 1973, Ban Chấp hành Trung ương Đảng tiến hành hội nghị lần thứ 21, ra nghị quyết về tăng cường quân sự tiến tới thống nhất đất nước. Chấp hành nghị quyết, tháng 10 năm 1973 Quân ủy Trung ương và Bộ Quốc phòng đề nghị Bộ Chính trị Trung ương Đảng đã phê chuẩn việc thành lập các quân đoàn chủ lực. Theo đó, ngày 24 tháng 10 năm 1973, Quân đoàn 1 đã được thành lập tại Tam Điệp, Ninh Bình[2]. Ngày 17 tháng 5 năm 1974, Bộ Quốc phòng ký quyết định thành lập Quân đoàn 2. Ngày 1 tháng 6 năm 1974, tại Ba Nang-Ba Lòng Quảng Trị (trụ sở cơ quan Bộ Tư lệnh Quân khu Trị - Thiên), thượng tướng Song Hào Chủ nhiệm Tổng cục Chính trị, thay mặt Quân ủy Trung ương, Bộ Quốc phòng công bố quyết định thành lập Quân đoàn. Theo đó, Bộ tư lệnh Quân đoàn gồm có: Thiếu tướng Hoàng Văn Thái - Tư lệnh, Thiếu tướng Lê Linh - Chính ủy, Đại tá Hoàng Đan - Phó Tư lệnh, Đại tá Nguyễn Công Trang - Phó Chính ủy.

Tổ chức cơ quan buổi đầu của quân đoàn gồm: Bộ Tham mưu (13 phòng) do thượng tá Bùi Công Ái làm Tham mưu trưởng. Cục Chính trị (9 phòng) do thượng tá Lê Khả Phiêu làm Chủ nhiệm. Cục Hậu cần (10 phòng) do thượng tá Nguyễn Ngọc Thực làm Chủ nhiệm.

Đảng ủy quân đoàn gồm có: Lê Linh-bí thư; Hoàng Văn Thái-phó bí thư; Nguyễn Công Trang Phó bí thư; ủy viên Đảng ủy gồm có bốn người: Hoàng Đan, Bùi Công Ái, Lê Khả Phiêu, Nguyễn Ngọc Thực.

Lực lượng Quân đoàn 2 những ngày đầu mới thành lập gồm ba Sư đoàn bộ binh 304, 325, 324, Sư đoàn phòng không 673, Lữ đoàn pháo binh 164, Lữ đoàn xe tăng 203, Lữ đoàn công binh 219, Trung đoàn thông tin 463 và một số đơn vị trực thuộc khác. Khi tiến công dọc bờ biển, được tăng cường thêm Sư đoàn 3 Sao Vàng.

Mùa xuân năm 1975, Quân đoàn tham gia chiến dịch giải phóng Huế, Đà Nẵng; tham gia chiến dịch Tây Nguyên. Trong chiến dịch Hồ Chí Minh Quân đoàn đã đánh chiếm Dinh Độc Lập cắm cờ trên dinh và bắt sống nội các Việt Nam Cộng hòa [3]. Đại úy Bùi Quang Thận đã cắm lá cờ chiến thắng lúc 11 giờ 30 phút ngày 30 tháng 04 năm 1975 trên nóc Dinh độc lập, còn đại úy Phạm Xuân Thệ bắt sống nội các VNCH.

Sư đoàn 3 đánh Vũng Tàu rồi được gọi ra bắc, phòng thủ biên giới ở Lạng Sơn. đội hình Quân đoàn 2 tổ chức lại, với các sư đoàn 325, 324, 306, 341 đánh Khmer Đỏ. Đầu năm 1979 khi quân đội Trung Quốc gây hấn, Bộ quốc phòng có kế hoạch dùng máy bay chở quân đoàn 2 ra bắc, nhưng đến nơi thì quân Trung vừa rút lui.